Hồ Phỉ là con trai của Liêu Đông đại hiệp Hồ Nhất Đao, ra đời trong cuộc quyết đấu giữa Miêu Nhân Phượng và Hồ Nhất Đao, một cuộc quyết đấu giữa hai người tri kỉ nhưng vẫn chưa vượt qua được những ân oán cũ của dòng họ. Khi Hồ Phỉ ra đời, Hồ Nhất Đao bị chết độc trên lưỡi đao (do bọn Điền Quy Nông thuê thầy lang Diêm Cơ bôi lên đao kiếm của Miêu Nhân Phượng và Hồ Nhất Đao để cả hai cùng chết). Mẹ Hồ Phỉ sau khi gửi con lại cho Miêu Nhân Phượng rồi tự sát theo chồng. Bình A Tứ nhân lúc hỗn loạn đã mang Hồ Phỉ về nuôi nấng.